专利摘要:
本発明は、パノラマ静止写真撮影およびパノラマ移動写真撮影に関連する。第1の実施形態において、パノラマ写真撮影のためのカメラ装置は、第1のイメージをキャプチャーするように配置される第1のイメージセンサーを含む。該第1のイメージセンサーは、縦向きに配列されるローリングシャッター読取情報を有する。該カメラ装置はまた、第2のイメージをキャプチャーするように配置される第2のイメージセンサーを含む。該第2のイメージセンサーは、縦向きに配列されるローリングシャッター読取情報を有する。最後に、該第1のイメージセンサーが該第1のイメージをキャプチャーし終える前に、該第2のイメージをキャプチャーし始めるように、該第2のイメージセンサーに信号を送るように構成されるコントローラを該カメラ装置は含む。該第1のイメージの少なくとも一部は、該カメラ装置の前方への方向に対して該第2のイメージの前にある。
公开号:JP2011512735A
申请号:JP2010545890
申请日:2009-02-09
公开日:2011-04-21
发明作者:ゲイリー アンブラー,;ジェイソン ホルト,;イアン;リチャード;タイロン マクラッチ,;リチャード;エフ. ライアン,
申请人:グーグル インコーポレイテッド;
IPC主号:H04N5-225
专利说明:

[0001] 本出願は、2008年2月8日に出願された米国仮特許出願第61/027,237号明細書(代理人整理番号2525.1250000)の利益を主張するものであり、その全体が参照により本明細書に援用される。
(本発明の分野)
本発明は、パノラマ静止写真撮影(panoramic still photography)およびパノラマ移動写真撮影(panoramic motion photography)の分野に関する。]
背景技術

[0002] (関連技術)
車両に取り付けられるローゼット構成において2つ以上のカメラを含むイメージングシステムが存在する。これらのイメージングシステムは、例えば通りに沿ったパノラマイメージをキャプチャーするのに用いられ得る。各カメラは入射瞳を含む。異なる位置において複数の入射瞳を有することは、空間的視差の原因となり得る。カメラの入射瞳の異なる視点によってもたらされる、イメージ化される対象の、背景と対照して感知される転移に視差は関連する。近傍のイメージが重複する領域において背景の対象が位置合わせされる場合に前景の対象のゴースティング(ghosting)を視差がもたらし得るため、視差は、複数のカメラからのイメージを合成する場合に特定の問題となる。]
[0003] ミラーは、パノラマイメージングにおいて視差を避けるために用いられている。例えば、Disney’sCircle−Vision 360°システムは、位置を共同使用する入射瞳を介して世界を見るためのミラーを用いる。これは、ゼロ視差(zero parallax)をもたらし得る。しかし、所要の大きなミラーを作成することおよび用いることは困難である。また、この技術は、鉛直の視野を制限する。]
[0004] ローゼット構成における各カメラは、イメージセンサーを含み、イメージセンサーは、イメージを形成するために光学信号を電気信号へと変換する。2種類のイメージセンサーは、自動的なシャッター−−インターラインシャッター(interline−shutter)荷電結合デバイス(CCD)センサーまたは相補型金属酸化膜半導体(CMOS)センサーに対する必要性を避ける。]
[0005] CMOSセンサーは、通常ローリングシャッター(rolling−shutter)を有し、ローリングシャッターは、わずかに異なる時間においてシーン(scene)の異なるラインを露光し、順番にイメージ全体にわたって巻き取る(roll)。カメラがシーンまたは主体に対して動く場合、ローリングシャッターは、イメージのひずみ(例えば、ゆがみ)を招き得る。一部の仕事は、イメージのひずみを補うためになされている。Wilburnらは、イメージの主体の移動によって誘発されるひずみを処理および補正するためのローリングシャッタータイミングオフセット(rolling shutter timing offset)を用いることを述べている。非特許文献1を参照されたい。]
[0006] インターラインシャッターCCDは、ローリングシャッターCMOSセンサーのイメージのひずみの問題を避ける。しかし、インターラインシャッターCCDセンサーは、焦点ぼけ(Blooming)およびストリーキング(streaking)を被り得る。焦点ぼけおよびストリーキングは、センサーの一部が過度に露光される場合に発生し、近傍のピクセルにか、または読取CCD構造(readout CCD structure)へと光を流出させる。]
先行技術

[0007] Wilburnら,「High−Speed Videography Using a Dense Camera Array」,2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR’04),Vol.2,pp.294〜301]
発明が解決しようとする課題

[0008] 必要とされるのは、ひずみおよび空間的視差を低減させるイメージング装置である一方で、CCDと関連した焦点ぼけおよびストリーキングの問題を避けることである。]
課題を解決するための手段

[0009] 本発明は、パノラマ静止写真撮影およびパノラマ移動写真撮影に関連する。第1の実施形態において、パノラマ写真撮影のためのカメラ装置は、第1のイメージをキャプチャーするように配置される第1のイメージセンサーを含む。該第1のイメージセンサーは、縦向きに配列されるローリングシャッター読取情報(rolling−shutter readout)を有する。該カメラ装置はまた、第2のイメージをキャプチャーするように配置される第2のイメージセンサーを含む。該第2のイメージセンサーは、縦向きに配列されるローリングシャッター読取情報を有する。最後に、該第1のイメージセンサーが該第1のイメージをキャプチャーし終える前に、該第2のイメージをキャプチャーし始めるように、該第2のイメージセンサーに信号を送るように構成されるコントローラを該カメラ装置は含む。該第1のイメージの少なくとも一部は、該カメラ装置の前方への方向に対して該第2のイメージの前にある。]
[0010] 第2の実施形態において、パノラマ写真撮影のための方法は、第1のイメージセンサーを用いて第1のイメージをキャプチャーするステップと、該第1のイメージをキャプチャーすることの完了より前に第2のイメージセンサーを用いて第2のイメージをキャプチャーし始めるステップとを含む。該第1および第2のイメージセンサーは、横向きに配列されるローリングシャッター読取情報を有する。少なくとも該第1のイメージの一部が、該第1および第2のイメージセンサーを含むカメラ装置の前方への方向に対して該第2のイメージの前にある。]
[0011] 第3の実施形態において、移動写真撮影のためのカメラ装置は、第1の入射瞳を有する第1のカメラを含む。該カメラ装置の前方への移動の間に、該第1のカメラは、第1のイメージをキャプチャーする。カメラ装置はまた、第2の入射瞳を有する第2のカメラを含む。該カメラ装置の前方への移動の間に、該第2のカメラは、第2のイメージをキャプチャーする。該カメラ装置の移動は、移動体の視差(motion parallax)をもたらす。該第2のカメラが該第2のイメージをキャプチャーするときに対する、該第1のカメラが第1のイメージをキャプチャーするタイミングは、該移動体の視差を用いて、該第1のカメラおよび該第2のカメラの間の空間的視差の影響を低減する。]
[0012] 第4の実施形態において、カメラ装置を用いる移動写真撮影のための方法は、該カメラ装置の前方への移動の間に、第1の時間において、該カメラ装置の中の第1のカメラを用いて第1のイメージをキャプチャーすることと、該カメラ装置の前方への移動の間に、第2の時間において、該カメラ装置の中の第2のカメラを用いて第2のイメージをキャプチャーすることとを含む。該カメラ装置の移動は、移動体の視差をもたらす。該キャプチャーすること(b)が発生するときに対する、該キャプチャーすること(a)のタイミングは、移動体の視差を用いて、該第1のカメラおよび該第2のカメラの間の空間的視差の影響を低減する。]
[0013] この方法において、本発明の実施形態は、ひずみおよび空間的視差を低減させる。]
[0014] さらなる実施形態、特徴、および本発明の利点、ならびに本発明の様々な実施形態の構造および動作が、添付の図面に関連して下記に詳細に述べられる。]
図面の簡単な説明

[0015] 本明細書内に援用されており、本明細書の一部を形成している添付の図面は、本発明を図示し、発明を実施するための形態とともに、本発明の原理を説明し、当業者が本発明を実施および用いることを可能にさせることにさらに役立つ。
図1Aは、ローリングシャッターCMOSセンサーを含むカメラを示す概略図を含む。
図1Bは、本発明の実施形態に従って、地面に対して実質的に垂直な縦列に配列されるフォトダイオード群を有するローリングシャッターCMOSセンサーを含むカメラを示す概略図を含む。
図2A〜Cは、本発明の実施形態に従って、パノラマイメージングにおいて用いられ得るカメラローゼットの一部を示す概略図を含む。
図3は、図2A〜Cにおいて示されるカメラローゼットの動作をさらに詳細に示す概略図を含む。
図4A〜Bは、カメラの入射瞳の配置が視差にどのようにインパクトを与えるかを示す。
図5は、本発明の実施形態に従って、カメラローゼットの中のカメラの露光のタイミングを調節することを示す概略図を示す。
図6は、車両に固定されるカメラローゼットの概略図を示す。] 図1A 図1B 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0016] 構成要素が最初に現れる図面は、通常、対応する参照番号の中の最も左側の数字または最も左側の複数の数字によって示される。複数の図面において、同様な参照番号は、同一の要素または機能的に類似した構成要素を示し得る。]
実施例

[0017] 本発明の実施形態は、車両に固定されるカメラローゼット(camera rosette)から撮影されるパノラマイメージにおけるひずみおよび空間的視差を低減させる。カメラローゼットにおける各カメラは、イメージセンサーを含む。イメージセンサーは、車両が動いている間、イメージをキャプチャーするために露光し得る。この動きは、結果として生じるイメージにおけるひずみの原因となり得る。本発明の一実施形態において、CMOSセンサーは、「縦」向きに配列される。下記に述べられる通り、これはイメージのひずみを低減させる。]
[0018] カメラローゼット上の異なる位置において複数のカメラを有することは、空間的視差の原因となり得る。本発明のさらなる実施形態において、車両の移動体の視差は、空間的視差を打ち消し合うために用いられる。その実施形態において、車両が動く間、各センサーが露光される場合にカメラの入射瞳が近似的に同じ位置にあるように、カメラローゼットにおけるカメラの露光は、タイミングを調節される。この実施形態は、下記に詳細に述べられる。]
[0019] 本発明の詳細な説明において、「一実施形態(one embodiment)」、「一実施形態(an embodiment)」、「例示的な一実施形態(an example embodiment)」等への言及に続く本発明の詳細な説明は、述べられる実施形態が、特定の特徴、構造または特性を含み得ることを示すが、全ての実施形態は、必ずしもその特定の特徴、構造または特性を含まなくあり得る。さらに、そのような表現は、必ずしも同じ実施形態への言及ではない。さらに、一実施形態に関して特定の特徴、構造または特性が述べられる場合、明示的に述べられているかどうかに関わらず、他の実施形態に関してそのような特徴、構造または特性をもたらすことが当業者の知識内であるということは提示される。]
[0020] 本明細書内で用いられる「カメラローゼット」という用語は、パノラマイメージをキャプチャーするために配列される2以上のカメラを意味する。各カメラは、イメージをキャプチャーする。イメージは、パノラマイメージを形成するように合成され得る。この合成は、例えば、よく知られたソフトウェア技術によってなされ得る。]
[0021] 本明細書内で用いられる「カメラ」という用語は、写真のイメージをキャプチャーするデバイスを意味する。カメラは、イメージセンサー、および入射瞳を有するレンズを含む。]
[0022] 本明細書内で用いられる「イメージセンサー」という用語は、露光されるときに、イメージをキャプチャーするように、光学信号を電気信号へと変換するデバイスを意味する。]
[0023] 図1Aは、ローリングシャッターのCMOSイメージセンサーを含むカメラを示す概略図100を含む。概略図100は、2つの時点におけるカメラ、およびカメラのイメージセンサーを示す。第1の時点において、カメラは配置102に存在し、カメラのイメージセンサーは配置104に存在する。第2の時点において、カメラは配置112に存在し、カメラのイメージセンサーは配置114に存在する。単純にするために、図の中の点は、レンズの入射瞳を表し、ピンホールカメラの手法において光線がレンズを介して射影しているところが示されている。] 図1A
[0024] 一実施例において、カメラは車両に取り付けられ得、車両の動きはカメラを動かし得る。上記に言及された通り、イメージセンサーは、ローリングシャッターCMOSセンサーであり得る。ローリングシャッターCMOSセンサーは、フォトダイオード群を含み得、フォトダイオード群は、露光の間、光をキャプチャーし、その光を電気信号に変換する。ローリングシャッターCMOSセンサーは、異なる時間において、異なるフォトダイオード群を露光し得る。ローリングシャッターCMOSセンサーは、読取時間(readout time)を有する。読取時間は、フォトダイオード群のそれぞれの露光時間の終了時に全てのフォトダイオード群を読み取るのに必要な時間である。図1Aに示される実施例において、CMOSセンサーは「横」向きにあり、フォトダイオード群は、地面に対して平行に走っている横列のように配列されていることを意味している。] 図1A
[0025] 車両が移動中である間、ローリングシャッターセンサーは露光され得る。一実施例において、ローリングシャッターセンサーは、イメージをキャプチャーするのに100msの読取時間を必要とし得る。イメージがキャプチャーされる間に、車両およびカメラは、前方へ1m動き得る。その動きは、イメージセンサーによってキャプチャーされる対象を、106に示されるように変化させる。これは、結果として生じるイメージにおけるひずみの原因となる。CMOSセンサーにおけるフォトダイオードの異なる横列が異なる時間に露光されるため、イメージはゆがめられて現れ得、即ち、鉛直の特徴(vertical feature)は傾けられ得る。イメージセンサーであって、ローリングシャッターを有さず、その全体において露光されるイメージセンサー(例えば、インターラインシャッターCCDセンサーは、ゆがみを低減するか、または避けるかし得る。しかし、前述の通り、インターラインシャッターCCDセンサーは、焦点ぼけおよびストリーキングをこうむり得る。]
[0026] ローリングシャッターセンサーに起因するゆがみの問題に対処するために、本発明の実施形態は、図1Bに示される通り、「縦」向きに配列されるローリングシャッターイメージセンサーを有する。図1Bは、ローリングシャッターセンサー(例えば、CMOSセンサー)を縦向きに有するカメラを示す概略図150を含む。縦向きとは、フォトダイオード群が地面に対して垂直に走っている縦列において配列されていることを意味する。] 図1B
[0027] 概略図150は、異なる時点での異なる配置におけるカメラを示す。前述の通り、カメラは、車両に固定され得、その車両は移動中であり得る。本発明の一実施形態において、フォトダイオードの縦列は、対象空間において後ろから前へ露光され、イメージ空間において前から後ろへ露光される。]
[0028] 配置152において、カメラは、最前部のフォトダイオード縦列156を露光することにより、最後部の視野154を含むイメージをキャプチャーする。次いで、配置160において、カメラは、フォトダイオード縦列156の後ろにあるフォトダイオード縦列158を露光する。この露光は、視野154の前にある視野172をキャプチャーする。カメラが配置162および配置164に移動するとき、縦列は、前から後ろへの手法で露光することを継続し、それにより後ろから前へ対象をキャプチャーする。最後に、カメラが配置166にある場合、カメラは、最後部のフォトダイオード縦列168を露光することにより、最前部の視野170を含むイメージをキャプチャーする。]
[0029] 縦向きにイメージセンサーを配置することは、横向きにおいて発生する鉛直の特徴のゆがみを避ける。その代わりに、対象は、それらの距離に依存する量で引き伸ばされて現れ得る。引き伸ばしは、ゆがみほど視覚的に魅力のないものではない。引き伸ばしは、実際に肯定的な特徴であり得る。ローリングシャッターが述べられた向きに配列される場合、引き伸ばしは、背景の対象に対して、前景の対象をより太くさせるのではなく、より細くさせる。結果として、前景の対象は、それらの後ろのより少ない量のシーンを覆う。このことは、パノラマイメージに関連する多くのアプリケーションにおいて利点になり得る。]
[0030] パノラマイメージングは、異なる方向に向けられる複数のカメラからイメージを撮影することをしばしば含む。複数のイメージは次いで、よく知られるソフトウェア技術を用いて、パノラマへと合成され得る。複数のカメラがこの方法で用いられる場合、2つ以上のカメラの視野において対象が存在し得る。移動写真撮影において、対象は、カメラに対して、次第に動くか、または次第に変化するかし得る。異なる時間において複数のカメラが対象を露光する場合、その対象は、単一のパノラマへと合成するための複数のイメージにおいて異なって現れ得る。結果として生じるパノラマは、ゴースティングか、または他の望ましくないイメージの問題かを有し得る。このことに対処するために、露光は、同時またはほとんど同時に、対象をキャプチャーするために複数のカメラ間で整合させられる必要がある。このことは、各イメージセンサーの異なる部分が異なる時間に露光されるため、ローリングシャッターイメージセンサーにとってさらに困難となる。このことに対処するため、図2A〜Cに示される通り、本発明の実施形態は、複数のイメージセンサーの露光のタイミングを調節する。] 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0031] 図2A〜Cは、カメラローゼットの一部を示す概略図を含み、そのカメラローゼットの一部は、パノラマイメージングにおいて用いられ得る。カメラローゼットにおける各カメラは、図1Bについて述べられるような縦向きにおいて、ローリングシャッターイメージセンサー(例えば、ローリングシャッターCMOSセンサー)を含む。] 図1B 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0032] 図2Aは概略図200を含む。概略図200は、カメラ202および210を有するカメラローゼットを示す。明確化のために、2つのカメラのみが示される。しかし、実際にはローゼットは異なる数のカメラを含み得る。カメラ202は、視野220に対して露光されるフォトダイオード縦列204を有する。] 図2A
[0033] 図2Bは概略図230を含む。概略図230は、図2Aに示されたローゼットを、より後の時点において示す。カメラ202は全体的な視野224を有し、カメラ210は全体的な視野234を有する。カメラ202は、(対象空間において)後ろから前へ視野224を全体にわたってスキャンし、カメラ202は、フォトダイオード縦列206群から、フォトダイオード縦列を露光し始める。縦列206群は、視野222内の対象をキャプチャーする。視野222は、遠隔の対象について、カメラ210の全体的な視野234と重複する。] 図2A 図2B
[0034] カメラ202が縦列206群からフォトダイオード縦列を露光し始める場合に、カメラ210は、フォトダイオード縦列208群からフォトダイオード縦列を露光し始める。カメラ210は、視野226をキャプチャーするように、(対象空間において)後ろから前へ、縦列208群におけるフォトダイオード縦列を露光する。視野226は、遠隔の対象について、カメラ202の全体的な視野224と重複する。実質上、カメラ210が縦列208群におけるフォトダイオード縦列を露光するのと同時に、カメラ202は、縦列206群におけるフォトダイオード縦列を露光する。カメラ202が縦列206群の露光を完了する場合に、カメラ202は、縦列206群の露光を終了する。しかし、図2Cに示される通り、カメラ210は、フォトダイオード縦列を露光することを継続する。] 図2C
[0035] 図2Cは概略図240を示す。概略図240は、カメラ202が縦列206群の露光を完了した時点よりも後の時点における、図2Bに示されたローゼットを示す。概略図240において、フォトダイオード縦列232は、露光され、視野228をキャプチャーする。カメラ210が視野228の露光を継続する間、視野228は、別のカメラ(示されていない)にともなう視野と重複し得、そのプロセスは、図3について述べられる通り、全体のカメラローゼットに対して継続し得る。] 図2B 図2C 図3
[0036] 図2A〜Cに示される実施形態は、例示的な実施例について述べられる。一実施例において、カメラ202とカメラ210との間の遠隔の対象についての重複部分の視野222は、カメラ202の全体的な視野224のうちの10%であり得る。その実施例において、カメラ202が露光を始める時間と、カメラ210が露光を始める時間との間の遅延は、カメラ202の読取時間のうちの90%であり得る。カメラ202および210は、同じ読取時間を有し得るか、または有さなくあり得る。一実施例において、読取時間は100msであり、カメラ202が露光を始める時間と、カメラ210が露光を始める時間との間の遅延は90msであり得る。] 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0037] カメラローゼットは、少なくとも1つのコントローラを有し得、そのコントローラは、指定された時間のオフセットでイメージをキャプチャーするように複数のカメラの同期をとる。そのように、コントローラは、各カメラがいつイメージをキャプチャーし始めるかを示す遅延を用いて、予めプログラミングされ得る。]
[0038] 別の実施形態において、遅延時間は、車両の速度に従ってオフセットされ得る。これは、図5について下記に述べられる通り、車両の動きからの移動体の視差を用いることの効果を有することにより、複数のカメラによってもたらされる空間的視差を打ち消し合う。] 図5
[0039] 上記に言及される通り、図2A〜Cについて述べられた2つのカメラの動作は、全体のカメラローゼットを通して継続し得る。一実施形態において、カメラローゼットは、360度のパノラマをキャプチャーするように配置されるカメラを含めて、6台から10台までの間の総数のカメラを有し得る。好ましい実施形態において、カメラローゼットは、図3について示されるローゼットのように、少なくとも8つのカメラを有し得る。] 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0040] 図3は、さらに詳細に、本発明の実施形態に従って、カメラローゼットの動作を示す概略図300を示す。好ましい実施形態において、カメラローゼットは、9つのカメラ−−水平リング内の8つのカメラおよびまっすぐ上向きに方向付けられた1つのカメラを含み得る。概略図300は8つの水平なカメラを示す。カメラローゼットにおける各カメラは、フォトダイオードの縦列とともに縦向きにローリングシャッターセンサーを含む。] 図3
[0041] カメラローゼットは、最後尾のカメラ305および304において、パノラマイメージをキャプチャーし始める。カメラ305および304の両方は、図1Bについて述べられる通り、(対象空間における)最後部のフォトダイオードを露光することによって開始し、前方へスキャンする。カメラ306、303は、図2Bについて述べられるような時間遅延によって定義される時間においてイメージをキャプチャーし始める。] 図1B 図2B
[0042] 最前部のカメラ301、308がスキャンを完了するまで、ローゼットは、前方へスキャンすることを継続する。各カメラは、その後部の近傍のカメラの開始によって定義される時間に遅延を加えた時間において開始する。例えば、カメラ302は、カメラ303の開始によって定義される時間に遅延を加えた時間において開始する。図2Bについて述べられる通り、遅延は、近傍のカメラの視野における重複部分の広さに対応し得る。図5について述べられる通り、遅延はまた、車両の速度に従ってオフセットされ得る。] 図2B 図5
[0043] 図3における8つのカメラの各々は、異なる位置に存在し、異なる位置において入射瞳を有する。図4A〜Bに示される通り、異なる位置において入射瞳を有することは、空間的視差の原因となる。] 図3 図4A 図4B 図5 図6
[0044] 図4A〜Bは、2つのカメラの入射瞳の配置が空間的視差にどのようにインパクトを与えるかを示す。図4Aは、例示的なイメージング装置400を示す。イメージング装置400は、カメラ402およびカメラ404を含む。カメラ402は入射瞳406を有し、カメラ404は入射瞳408を有する。入射瞳406および入射瞳408は、距離426だけ分離されている。各カメラ402、404は、対象410を含むイメージをキャプチャーする。しかし、カメラ402、404において対象410が現れる間、対象410の背景において広幅の差が存在する。これは、広い視差角(parallax angle)422によって示される。] 図4A 図4B 図5 図6
[0045] 図4Bは、例示的なイメージング装置450を示す。イメージング装置450は、カメラ416およびカメラ414を含む。カメラ416は入射瞳418を有し、カメラ414は入射瞳420を有する。入射瞳418および入射瞳420は、距離428だけ分離されている。距離428は、図4Aにおける距離426よりも短い。各カメラ416、414は、対象412を含むイメージをキャプチャーする。カメラ416、414において対象412が現れる間、対象412の背景において、図4Aにおけるカメラ402、404と比較して小さな差が存在する。これは、視差角424によって示される。したがって、図4Bにおける視差角422は、図4Aにおける視差角424よりも小さい。] 図4A 図4B
[0046] したがって、異なる場所に存在する2つのカメラは、空間的視差の原因となり得る。同様に、移動体の視差は、異なる時間において異なる位置に存在するカメラによってもたらされる。本発明の実施形態に従って、空間的視差の影響の打ち消し合いまたは低減による、カメラローゼットの移動によってもたらされる移動体の視差は、異なる位置に位置するカメラローゼット上の異なるカメラの入射瞳によってもたらされる。この実施形態は図5に示される。] 図5
[0047] 図5は概略図500を示し、概略図500は、本発明の実施形態に従って、視差を低減するための、カメラローゼットの中のカメラの露光のタイミングを調節することを示す。図4A〜Bに示される通り、カメラの入射瞳が接近している間、カメラ間の空間的視差は減少する。カメラの入射瞳が近似的に同じ位置に位置する場合に各々のカメラが露光されるように、車両の移動の間に、カメラの露光のタイミングを調節する方法を概略図500は示す。結果として、概略図500において、動いている車両によってもたらされる移動体の視差が、複数のカメラに起因する空間的視差を低減する。] 図4A 図4B 図5 図6
[0048] 概略図500は、3つの異なる時点での3つの位置510、520、530におけるカメラローゼットの一部を示す。示されるカメラローゼットは、示される3つのカメラ502、504および506を有する。カメラ502、504および506は、それぞれ入射瞳508、514および512を有する。明確化のために、3つのカメラのみが示される。しかし、実際には、異なる数のカメラ(例えば、別の実施形態においては8つの水平なカメラかつ9つの総数のカメラ)が用いられ得る。]
[0049] 図5における実施形態において、イメージセンサーは、ローリングシャッターを有し得るか、または有さなくあり得る。ローリングシャッターを用いて、その実施形態は有用であり得る。しかし、「グローバル」シャッター(global shutter)を有するイメージセンサー(例えば、自動的なシャッターを用いるインターラインCCDまたはイメージセンサー)を用いて、その実施形態はまた、視差を低減し得る。一部の露光期間と小さな移動のぼかし(motion blur)が結果として存在するが、イメージキャプチャーは、同時に起こることとして述べられる。配置510において、カメラ502はイメージをキャプチャーする。配置510において、カメラ502の入射瞳508は、位置524に存在する。続く各カメラは、カメラの入射瞳が近似的に位置524に位置する場合に、イメージを撮影するようにタイミングを調節される。] 図5
[0050] より後の時点の間であって、車両が動いている間に、カメラローゼットは、配置520に到達する。配置520において、カメラ504の入射瞳514は近似的に位置524に存在する。この時点において、カメラ504はイメージをキャプチャーする。最後に、配置530において、カメラ506の入射瞳512が近似的に位置524に到達し、カメラ506は、イメージをキャプチャーする。]
[0051] その近似は、車両の速度における誤差か、または車両の方向に変更を加えることかに起因する。一実施例において、その近似は、妥当な期間にわたる実際の速度とは対照的に、妥当な期間にわたる平均車両速度に基づき得る。また、その近似は、カメラがカメラローゼット上に2次元的または3次元的に配置されるという事実に起因し得るのに対して、(例えば、車両上の)ローゼットの動きは、1つの方向にのみにおいてあり得る。例えば、図5において、入射瞳508および入射瞳514が移動の軸に対して垂直な軸上で異なる位置に存在するため、入射瞳508は、ちょうど入射瞳514と同じ位置には存在しない。] 図5
[0052] 別の実施形態において、仮想平面が、カメラローゼットの移動の方向に対して垂直に存在する。カメラの入射瞳がその平面を通過する場合、カメラローゼット内の各カメラは露光し得る。この方法で、各カメラは、その入射瞳が近似的に同じ位置に存在する場合に露光し、視差を低減する。]
[0053] 前述の通り、車両速度とカメラ間の距離(例えば、距離522)とに従って、続く各カメラを作動させる時間は計算され得る。実施例に示される通り、カメラ504がイメージをキャプチャーする時間と、カメラ506がイメージをキャプチャーする時間とからの遅延は、距離522を車両の速度で割ったものである。仮に距離522を10cmとし、車両速度を10m/sとすると、カメラ504がイメージをキャプチャーする時間と、カメラ506がイメージをキャプチャーする時間との間の遅延は10msになる。換言すると、さらに後部のカメラ(カメラ506)は、より前方のカメラ(カメラ504)の10ms後に、イメージをキャプチャーし始める。]
[0054] 前述の通り、カメラのタイミングを調節するのに用いられる車両速度は、平均車両速度であり得る。あるいは、車両速度は、速度計、ホイールエンコーダー(wheel encoder)またはGPSセンサーによって実時間において決定され得る。速度は、カメラの中のコントローラに信号で伝えられ得、それに応じて、コントローラは、タイミングを適合させる。]
[0055] 好ましい実施形態において、概略図500に示される特徴は、図2A〜Cについて述べられる特徴と一緒に用いられ得る。図2Bは、各カメラがローリングシャッターCMOSセンサーを縦向きに含む場合において、カメラローゼットにおけるカメラの露光のタイミングを調節することについて述べている。その実施形態において、各カメラは、距離をおいてそれらの視野が重複する領域を前のカメラがスキャンし始める場合に、露光を開始するようにタイミングを調節される。図2Bについての実施形態を述べるときに、カメラ202が露光を開始する時間とカメラ210が露光を開始する時間との間の遅延は、式:] 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0056] を実質的に満たす。]
[0057] ここで、tは遅延時間であり、R1は、第1のイメージセンサーのローリングシャッター読取時間であり、F1は、第2のイメージセンサーの視野と重複しない第1のイメージセンサーの視野のパーセンテージであり、D12は、第1のイメージセンサーの入射瞳と第2のイメージセンサーの入射瞳との間の距離であり、vは、カメラ装置の速度である。小さなオフセットおよび係数のような小さな変更がこの式に加えられ得ることは理解されたい。]
[0058] 図2Bについて与えられる実施例において、カメラ202とカメラ210との間の重複部分の視野222は、カメラ202の全体の視野の10%であり得る。この実施例において、カメラ202の視野の90%は、カメラ210の視野と重複しない。カメラ202の読取時間が100msである一実施例において、カメラ202が露光を開始する時間と、カメラ210が露光を開始する時間との間の遅延は、90msであり得る。換言すると、より前方のカメラ(カメラ210)は、さらに後部のカメラ(カメラ202)がイメージをキャプチャーし始める90ms後に、イメージをキャプチャーし始める。結果として、重複する視野を有する複数のカメラは、それらの重複部分の領域における対象のイメージを、同時にか、または同じ車両位置からキャプチャーする。カメラがそれらのローリングシャッターを同時に開始させる場合に起こるような、非常に異なる時間および非常に異なる車両位置において重複部分のエリアにおける対象がキャプチャーされる場合に結果として起こり得る大きな視差誤差をこのタイミングが防ぐという点において、このタイミングは視差に対する一次補正である。しかし、同じ場所に存在しないカメラの入射瞳に起因する比較的小さな視差誤差は残る。] 図2B
[0059] 概略図500および図2A〜Cにおける両方の特徴を組み込む実施形態の実施例において、遅延時間は、空間的視差をさらに低減するためにオフセットされる。図5について与えられる実施例において、さらなる後部のカメラ(カメラ506)は、より前方のカメラ(カメラ504)の10ms後にイメージをキャプチャーし始める。図2A〜Cにおける実施例において、より前方のカメラ(カメラ210)は、さらに後部のカメラ(カメラ202)がイメージをキャプチャーし始める90ms後にイメージをキャプチャーし始める。組み合わせられた実施形態において、その90msの遅延は、10msだけオフセットされる。したがって、より前方のカメラは、さらに後部のカメラがイメージをキャプチャーし始める80ms後にイメージをキャプチャーし始める。この実施形態は、ローリングシャッターの読取遅延、車両速度、および入射瞳の分離を共通して説明する空間的視差を低減した。] 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0060] 別の実施形態において、低減される空間的視差に対するタイミングオフセットは、カメラローゼットの中の一部のカメラに適用されるだけであり得る。一実施例において、そのオフセットは、車両の移動から横に向けられたそれらのカメラにのみ適用され得る。その横に向けられたカメラは、例えば0.01sまたはそれより少ない時間の間に、より後部のカメラの入射瞳の位置を、カメラがイメージを撮影する位置へと通常の車両の移動が動かす場合のカメラであり得る。この実施例において、パノラマの前方監視(forward−looking)の部分および後方監視(backward−looking)の部分の空間的視差は、移動体の視差によって打ち消され得ないが、これらの方向における対象は、大きな視差の問題を有さないように十分に遠隔である傾向がある。]
[0061] 代替の実施形態において、非常に速い読取時間を有するローリングシャッターは、有用であり得る。そのシャッター読取時間が速くなるにつれて、ローリングシャッターを説明する計算上の遅延は(図2A〜Cにおいて述べられる通り)減少する。そのように、特定の読取時間において、ローリングシャッターに対する遅延と空間的視差を説明するオフセットとは、互いに打ち消し合い得る。この読取時間は、入射瞳間の距離に等しい距離を車両が前方へ移動するのに要する時間である。一実施例において、第1のイメージセンサーの読取時間は10msであり得る。第1のイメージセンサーの視野の90パーセントは、次の最前部の第2のイメージセンサーの視野とは重複し得ない。車両が静止している場合、第1および第2のイメージセンサーの露光間の遅延時間は9msであり得る。しかし、車両が9m/sで動いており、かつ、第1および第2のイメージセンサー間の距離が10cmである場合、車両の移動に起因する遅延オフセットはまた9msであり得る。したがって、オフセットは互いに効率的に打ち消し合う。同様に、可変の巻き取りの読取時間(rolling readout time)を有するイメージセンサーが用いられ得る。その例において、読取時間は、車両の速度に従って調整され得る。] 図2A 図2B 図2C 図3 図4A 図4B 図5 図6
[0062] 図6は、車両602に固定されるカメラローゼット604を示す。カメラローゼット604は、複数のカメラ(例えば、カメラ606)を含む。一実施例において、カメラローゼット604は、通りに沿って走っている建物のパノラマイメージをキャプチャーするために用いられ得る。] 図6
[0063] カメラローゼットの中の各々のカメラは、コントローラ608に結合される。前述の通り、コントローラ608は、各カメラの露光のタイミングを制御する。コントローラ608は、車両の速度を示す入力を受信し得る。あるいは、コントローラ608は、タイミングオフセット(例えば、平均車両速度に基づくオフセット)を用いて予めプログラミングされ得る。単一のコントローラ608も用いられ得る。あるいは、各カメラは、それ自体のコントローラを有し得る。]
[0064] コントローラ608は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいてインプリメントされ得る。コントローラ608は、例えば、カメラの露光を制御するためのソフトウェアを実行する汎用コンピュータであり得る。コントローラ608は、プロセッサおよびメモリを有し得る。]
[0065] 概要および要約の項は、発明者(1人または複数人)によって企図されるような、1つ以上だが全てではない本発明の例示的な実施形態を明記し得、したがって、本発明および添付の特許請求の範囲をいかなる方法においても制限することは意図されていない。]
[0066] 特定の実施形態についての前述の解説は、本発明の全体的な本質を十分に明かすものであり、本発明は、(当業者の知識を応用することによって)特定の実施形態のような様々な用途に対して、必要以上の実験なしに、本発明の全体的な概念から逸脱することなく、難なく改良および/または適合され得る。したがって、そのような適合および改良は、本明細書で与えられる教示および示唆に基づいて、開示される実施形態の均等物の意味内および範囲内にすることが意図される。本発明の詳述についての専門用語または表現法が、教示および示唆の観点において当業者によって解釈され得るように、本明細書での表現法または専門用語が解説の目的のためであって限定の目的のためではないことは、理解されたい。]
[0067] 本発明の広さおよび範囲は、上記で述べられたいかなる例示的な実施形態によっても限定されるべきではないが、次ぎに続く特許請求の範囲およびそれらの均等物に従ってのみ定義されるべきである。]
权利要求:

請求項1
パノラマ写真撮影のためのカメラ装置であって、該カメラ装置は、第1のイメージをキャプチャーするように配置される第1のイメージセンサーであって、該第1のイメージセンサーは、縦向きに配列されるローリングシャッター読取情報を有する、第1のイメージセンサーと、第2のイメージをキャプチャーするように配置される第2のイメージセンサーであって、該第2のイメージセンサーは、縦向きに配列されるローリングシャッター読取情報を有する、第2のイメージセンサーと、該第1のイメージセンサーが該第1のイメージをキャプチャーし終える前に、該第2のイメージをキャプチャーし始めるように該第2のイメージセンサーに信号を送るように構成されるコントローラとを含み、該第1のイメージの少なくとも一部は、該カメラ装置の前方への方向に対して該第2のイメージの前にある、カメラ装置。
請求項2
前記第1のイメージセンサーが前記第1および第2のイメージセンサーの視野の重複部分をキャプチャーし始める場合に、前記コントローラが、前記第2のイメージを近似的にキャプチャーし始めるように該第2のイメージセンサーに信号を送るように構成される、請求項1に記載のカメラ装置。
請求項3
前記コントローラが、前記第1および第2のイメージセンサーの視野の重複部分に対応する遅延時間において前記第2のイメージをキャプチャーし始めるように該第2のイメージセンサーに信号を送るように構成される、請求項1に記載のカメラ装置。
請求項4
前記遅延時間は、前記第1および第2のイメージセンサーの間の空間的視差を打ち消し合うために、前記カメラ装置の移動の結果として生じる移動体の視差を用いるように、該カメラ装置の速度値に従ってオフセットされる、請求項3に記載のカメラ装置。
請求項5
前記カメラ装置の速度値は、該カメラ装置の近似速度または平均速度である、請求項4に記載のカメラ装置。
請求項6
前記遅延時間は、前記カメラ装置の前方への移動の間に、前記第1のイメージセンサーの入射瞳がある位置を通過するときと前記第2のイメージセンサーの入射瞳が該位置を通過するときとの間の時間によってオフセットされる、請求項4に記載のカメラ装置。
請求項7
前記遅延時間は、次の式:を近似的に満たし、tは該遅延時間であり、R1は、前記第1のイメージセンサーのローリングシャッター読取時間であり、F1は、前記第2のイメージセンサーの視野と重複しない該第1のイメージセンサーの視野のパーセンテージであり、D12は、該第1のイメージセンサーの入射瞳と該第2のイメージセンサーの入射瞳との間の距離であり、vは、前記カメラ装置の速度である、請求項4に記載のカメラ装置。
請求項8
前記第1および第2のイメージセンサーが車両に取り付けられている、請求項1に記載のカメラ装置。
請求項9
前記第1のイメージセンサーは、該第1のイメージセンサーの少なくとも第1および第2の縦列を露光し、前記カメラ装置の前方への移動に対して、該第1の縦列は、前記第1のイメージのより後方の部分をキャプチャーし、該第2の縦列は、該第1のイメージのより前方の部分をキャプチャーし、該第1のイメージセンサーの該第1の縦列は、該第1のイメージセンサーの該第2の縦列の前に露光を開始し、前記第2のイメージセンサーは、該第2のイメージセンサーの少なくとも第1および第2の縦列を露光し、該カメラ装置の前方への移動に対して、該第1の縦列は、前記第2のイメージのより後方の部分をキャプチャーし、該第2の縦列は、該第2のイメージのより前方の部分をキャプチャーし、該第2のイメージセンサーの該第1の縦列は、該第2のイメージセンサーの該第2の縦列の前に露光を開始する、請求項1に記載のカメラ装置。
請求項10
少なくとも6つのさらなるイメージセンサーをさらに含み、コンピュータが、パノラマイメージを生成するために、少なくとも8つの総数のカメラから撮影されたイメージを合成することができる、請求項1に記載のカメラ装置。
請求項11
前記第1および第2のイメージセンサーは、CMOSイメージセンサーである、請求項1に記載のカメラ装置。
請求項12
パノラマ写真撮影のための方法であって、該方法は、(a)第1のイメージセンサーを用いて第1のイメージをキャプチャーすることであって、該第1のイメージセンサーは、横向きに配列されるローリングシャッター読取情報を有する、ことと、(b)(a)におけるキャプチャーすることの完了より前に第2のイメージセンサーを用いて第2のイメージをキャプチャーし始めることであって、該第2のイメージセンサーは、横方向に配列されるローリングシャッター読取情報を有する、こととを含み、少なくとも該第1のイメージの一部が、該第1および第2のイメージセンサーを含むカメラ装置の前方への方向に対して該第2のイメージの前にある、方法。
請求項13
前記キャプチャーし始めること(b)が、前記第1および第2のイメージセンサーの視野の重複部分に対応する遅延時間において発生する、請求項12に記載の方法。
請求項14
前記遅延時間は、該第1および第2のイメージセンサーの間の空間的視差を打ち消し合うために、前記カメラ装置の移動の結果として生じる移動体の視差を用いるように、該カメラ装置の速度値に従ってオフセットされる、請求項13に記載の方法。
請求項15
移動写真撮影のためのカメラ装置であって、該カメラ装置は、第1の入射瞳を有する第1のカメラであって、該カメラ装置の前方への移動の間に、該第1のカメラは、第1のイメージをキャプチャーする、第1のカメラと、第2の入射瞳を有する第2のカメラであって、該カメラ装置の前方への移動の間に、該第2のカメラは、第2のイメージをキャプチャーする、第2のカメラとを含み、該カメラ装置の移動は、移動体の視差をもたらし、該第2のカメラが該第2のイメージをキャプチャーするときに対する、該第1のカメラが第1のイメージをキャプチャーするタイミングは、該移動体の視差を用いて、該第1のカメラおよび該第2のカメラの間の空間的視差の影響を低減する、カメラ装置。
請求項16
前記カメラ装置の前方への移動の間に、前記第1の入射瞳が第1の位置にある場合に前記第1のカメラは第1のイメージをキャプチャーし、前記第2の入射瞳が第2の位置にある場合に前記第2のカメラは第2のイメージをキャプチャーし、該第2の位置は、該第1の位置と近似的に同じである、請求項15に記載のカメラ装置。
請求項17
前記第1および第2のカメラは、車両に取り付けられている、請求項15に記載のカメラ装置。
請求項18
少なくとも6つのさらなるイメージセンサーをさらに含み、コンピュータが、パノラマイメージを生成するために、少なくとも8つの総数のカメラから撮影されたイメージを合成することができる、請求項15に記載のカメラ装置。
請求項19
カメラ装置を用いる移動写真撮影のための方法であって、該方法は、(a)該カメラ装置の前方への移動の間に、第1の時間において、該カメラ装置の中の第1のカメラを用いて第1のイメージをキャプチャーすることと、(b)該カメラ装置の前方への移動の間に、第2の時間において、該カメラ装置の中の第2のカメラを用いて第2のイメージをキャプチャーすることとを含み、該カメラ装置の移動は、移動体の視差をもたらし、該キャプチャーすること(b)が発生するときに対する、該キャプチャーすること(a)が発生するタイミングは、移動体の視差を用いて、該第1のカメラおよび該第2のカメラの間の空間的視差の影響を低減する、方法。
請求項20
前記第1のイメージをキャプチャーすること(a)は、前記第1のカメラの第1の入射瞳が第1の位置にある場合に該第1のイメージをキャプチャーすることを含み、前記第2のイメージをキャプチャーすること(b)は、第2の入射瞳が第2の位置にある場合に該第2のイメージをキャプチャーすることであって、該第2の位置は、該第1の位置と近似的に同じである、ことを含む、請求項19に記載の方法。
請求項21
パノラマ写真撮影のためのシステムであって、該システムは、第1のイメージセンサーを用いて第1のイメージをキャプチャーする手段であって、該第1のイメージセンサーは、ローリングシャッター読取情報を有し、横向きに配列される、手段と、(a)におけるキャプチャーすることの完了より前に第2のイメージセンサーを用いて第2のイメージをキャプチャーし始める手段であって、該第2のイメージセンサーは、ローリングシャッター読取情報を有し、横方向に配列される、手段とを含み、少なくとも該第1のイメージの一部が、該第1および第2のイメージセンサーを含むカメラ装置の前方への方向に対して該第2のイメージの前にある、システム。
請求項22
カメラ装置を有する移動写真撮影のための装置であって、該装置は、該カメラ装置の前方への移動の間に、第1の時間において、該カメラ装置の中の第1のカメラを用いて第1のイメージをキャプチャーする手段と、該カメラ装置の前方への移動の間に、第2の時間において、該カメラ装置の中の第2のカメラを用いて第2のイメージをキャプチャーする手段とを含み、該カメラ装置の移動は、移動体の視差をもたらし、該第2のイメージをキャプチャーすることが発生するときに対する、該第1のイメージをキャプチャーすることが発生するタイミングは、該移動体の視差を用いて、該第1のカメラおよび該第2のカメラの間の空間的視差の影響を低減する、装置。
类似技术:
公开号 | 公开日 | 专利标题
US20180103218A1|2018-04-12|Stereo assist with rolling shutters
CN108718376B|2020-08-14|具有自动聚焦的纤薄多孔径成像系统及其使用方法
JP6327245B2|2018-05-23|撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
US9185297B2|2015-11-10|Image capture system, control method thereof and image capture apparatus
JP5739640B2|2015-06-24|撮像素子及び撮像装置
JP4574022B2|2010-11-04|撮像装置及びシェーディング補正方法
US9118842B2|2015-08-25|Producing focused videos from single captured video
US8159599B2|2012-04-17|Focus detection apparatus, focus detection method, and image sensing apparatus
EP2263374B1|2014-08-06|Image capturing apparatus and image processing method
JP5066851B2|2012-11-07|撮像装置
EP2518995B1|2018-08-22|Multocular image pickup apparatus and multocular image pickup method
US8681261B2|2014-03-25|Image-capturing apparatus having image sensor utilizing focus detection pixel pairs
US20150022692A1|2015-01-22|Image pickup apparatus and control method therefor
KR101093383B1|2011-12-14|영상 포착 장치를 위한 시스템 및 방법
EP3110132A1|2016-12-28|Automatic tracking image-capture apparatus
US8885090B2|2014-11-11|Imaging apparatus and autofocus control method thereof
JP5683025B2|2015-03-11|Stereoscopic image capturing apparatus and stereoscopic image capturing method
KR101469311B1|2014-12-04|선택 가능한 하드-와이어드 비닝을 갖는 cmos 이미지 센서
US9648233B2|2017-05-09|System, device, and vehicle for recording panoramic images
US9313469B2|2016-04-12|Image capturing apparatus and method of controlling the same
JP4852591B2|2012-01-11|立体画像処理装置、方法及び記録媒体並びに立体撮像装置
JP5901246B2|2016-04-06|撮像装置
JP5098405B2|2012-12-12|撮像素子、焦点検出装置および撮像装置
KR101214536B1|2013-01-10|뎁스 정보를 이용한 아웃 포커스 수행 방법 및 이를 적용한 카메라
JP4533735B2|2010-09-01|立体画像撮影装置
同族专利:
公开号 | 公开日
US8493436B2|2013-07-23|
CA2714492A1|2009-08-13|
US9794479B2|2017-10-17|
EP2253131A1|2010-11-24|
AU2009210672A1|2009-08-13|
AU2009210672B2|2013-09-19|
JP2013066247A|2013-04-11|
US20130169745A1|2013-07-04|
JP5337170B2|2013-11-06|
US20160142632A1|2016-05-19|
US10397476B2|2019-08-27|
WO2009099667A1|2009-08-13|
US20090201361A1|2009-08-13|
US10666865B2|2020-05-26|
US20190313022A1|2019-10-10|
CN102037720B|2013-11-06|
US20180077351A1|2018-03-15|
EP2253131B1|2014-06-25|
CN102037720A|2011-04-27|
CA2714492C|2014-07-15|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
JP2006350713A|2005-06-16|2006-12-28|National Institute Of Advanced Industrial & Technology|画像処理による監視システム及び方法|
JP2007214620A|2006-02-07|2007-08-23|Sony Corp|画像処理装置、画像処理方法、およびプログラム|JP2016514246A|2013-01-15|2016-05-19|モービルアイ ビジョン テクノロジーズ リミテッド|Stereo support with rolling shutter|
WO2017149875A1|2016-02-29|2017-09-08|ソニー株式会社|撮像制御装置、撮像装置及び撮像制御方法|JPS5642196B2|1975-06-02|1981-10-02|||
US4532550A|1984-01-31|1985-07-30|Rca Corporation|Exposure time control for a solid-state color camera|
US5023723A|1988-04-18|1991-06-11|Canon Kabushiki Kaisha|Image sensing apparatus having plural image sensors and plural shutters|
JP2674135B2|1988-09-20|1997-11-12|株式会社ニコン|Electronic still camera|
US5990941A|1991-05-13|1999-11-23|Interactive Pictures Corporation|Method and apparatus for the interactive display of any portion of a spherical image|
US5495576A|1993-01-11|1996-02-27|Ritchey; Kurtis J.|Panoramic image based virtual reality/telepresence audio-visual system and method|
EP0641132B1|1993-08-26|1999-04-14|Matsushita Electric Industrial Co., Ltd.|Stereoscopic image pickup apparatus|
US7630806B2|1994-05-23|2009-12-08|Automotive Technologies International, Inc.|System and method for detecting and protecting pedestrians|
US6118475A|1994-06-02|2000-09-12|Canon Kabushiki Kaisha|Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape|
US5473364A|1994-06-03|1995-12-05|David Sarnoff Research Center, Inc.|Video technique for indicating moving objects from a movable platform|
EP1494476A1|1994-09-09|2005-01-05|Canon Kabushiki Kaisha|Image processing method and apparatus|
US5703961A|1994-12-29|1997-12-30|Worldscape L.L.C.|Image transformation and synthesis methods|
US6327381B1|1994-12-29|2001-12-04|Worldscape, Llc|Image transformation and synthesis methods|
US5657073A|1995-06-01|1997-08-12|Panoramic Viewing Systems, Inc.|Seamless multi-camera panoramic imaging with distortion correction and selectable field of view|
US6141034A|1995-12-15|2000-10-31|Immersive Media Co.|Immersive imaging method and apparatus|
US6108440A|1996-06-28|2000-08-22|Sony Corporation|Image data converting method|
JP4374625B2|1998-05-08|2009-12-02|ソニー株式会社|画像生成装置及び方法|
US20010015751A1|1998-06-16|2001-08-23|Genex Technologies, Inc.|Method and apparatus for omnidirectional imaging|
JP3286306B2|1998-07-31|2002-05-27|松下電器産業株式会社|画像生成装置、画像生成方法|
US7015954B1|1999-08-09|2006-03-21|Fuji Xerox Co., Ltd.|Automatic video system using multiple cameras|
JP3298851B2|1999-08-18|2002-07-08|松下電器産業株式会社|多機能車載カメラシステムと多機能車載カメラの画像表示方法|
CN1160210C|1999-09-20|2004-08-04|松下电器产业株式会社|驾驶提醒装置|
US6831677B2|2000-02-24|2004-12-14|Yissum Research Development Company Of The Hebrew University Of Jerusalem|System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair|
US6535114B1|2000-03-22|2003-03-18|Toyota Jidosha Kabushiki Kaisha|Method and apparatus for environment recognition|
US6669346B2|2000-05-15|2003-12-30|Darrell J. Metcalf|Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action|
US6778207B1|2000-08-07|2004-08-17|Koninklijke Philips Electronics N.V.|Fast digital pan tilt zoom video|
US6853809B2|2001-01-30|2005-02-08|Koninklijke Philips Electronics N.V.|Camera system for providing instant switching between wide angle and full resolution views of a subject|
US20020124260A1|2001-03-02|2002-09-05|Creative Design Group, Inc.|Video production system for vehicles|
US7012637B1|2001-07-27|2006-03-14|Be Here Corporation|Capture structure for alignment of multi-camera capture systems|
US6947059B2|2001-08-10|2005-09-20|Micoy Corporation|Stereoscopic panoramic image capture device|
US7224382B2|2002-04-12|2007-05-29|Image Masters, Inc.|Immersive imaging system|
US20040001138A1|2002-06-27|2004-01-01|Weerashinghe W.A. Chaminda P.|Stereoscopic panoramic video generation system|
JP2006503375A|2002-10-18|2006-01-26|サーノフ・コーポレーション|複数のカメラを用いたパノラマ映像化を可能とする方法およびシステム|
WO2005115017A1|2003-02-14|2005-12-01|Lee Charles C|3d camera system and method|
US20040164249A1|2003-02-26|2004-08-26|Crosetto Dario B.|Method and apparatus for determining depth of interactions in a detector for three-dimensional complete body screening|
JP4346938B2|2003-04-09|2009-10-21|キヤノン株式会社|画像処理装置、方法、プログラム及び記憶媒体|
US20040212723A1|2003-04-22|2004-10-28|Malcolm Lin|Image pickup apparatus and operating method|
JP2005045552A|2003-07-22|2005-02-17|Canon Inc|撮像装置及び方法|
US7436429B2|2003-11-24|2008-10-14|The Boeing Company|Virtual pan/tilt camera system and method for vehicles|
US20070182812A1|2004-05-19|2007-08-09|Ritchey Kurtis J|Panoramic image-based virtual reality/telepresence audio-visual system and method|
US7697028B1|2004-06-24|2010-04-13|Johnson Douglas M|Vehicle mounted surveillance system|
US8027531B2|2004-07-21|2011-09-27|The Board Of Trustees Of The Leland Stanford Junior University|Apparatus and method for capturing a scene using staggered triggering of dense camera arrays|
US20060028550A1|2004-08-06|2006-02-09|Palmer Robert G Jr|Surveillance system and method|
US7750936B2|2004-08-06|2010-07-06|Sony Corporation|Immersive surveillance system interface|
US7629995B2|2004-08-06|2009-12-08|Sony Corporation|System and method for correlating camera views|
JP4531484B2|2004-08-16|2010-08-25|パナソニック株式会社|カメラシステム|
JP4325557B2|2005-01-04|2009-09-02|ソニー株式会社|撮像装置および撮像方法|
JP4551990B2|2005-02-03|2010-09-29|名古屋市|パノラマ映像作成方法と作成装置|
KR100715026B1|2005-05-26|2007-05-09|한국과학기술원|단일카메라 전방향 양안시 영상 획득 장치|
JP2007028008A|2005-07-13|2007-02-01|Konica Minolta Photo Imaging Inc|撮像装置、撮像システム及びその動作プログラム|
TW200715830A|2005-10-07|2007-04-16|Sony Taiwan Ltd|Image pick-up device of multiple lens camera system to create panoramic image|
EP1938577B1|2005-10-21|2013-08-14|Nokia Corporation|A method and a device for reducing motion distortion in digital imaging|
JP4780385B2|2005-11-17|2011-09-28|アイシン精機株式会社|周辺監視システム|
JP4724539B2|2005-11-24|2011-07-13|キヤノン株式会社|実露光時間算出方法ならびにそれを適用した撮像装置、光学機器、カメラシステムおよび実露光時間測定器|
WO2007063478A2|2005-12-02|2007-06-07|Koninklijke Philips Electronics N.V.|Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input|
US7834910B2|2006-03-01|2010-11-16|David M. DeLorme|Method and apparatus for panoramic imaging|
US20070237364A1|2006-03-31|2007-10-11|Fuji Photo Film Co., Ltd.|Method and apparatus for context-aided human identification|
DE102006019124B4|2006-04-25|2012-08-30|Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.|Bilderfassungssystem zur Rundumsicht|
JP2007295429A|2006-04-27|2007-11-08|Fujifilm Corp|ディジタル・スチル・カメラおよびその制御方法|
US7567293B2|2006-06-07|2009-07-28|Onlive, Inc.|System and method for performing motion capture by strobing a fluorescent lamp|
SG138491A1|2006-06-21|2008-01-28|Generic Power Pte Ltd|Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components|
US7953295B2|2006-06-29|2011-05-31|Google Inc.|Enhancing text in images|
US20080018774A1|2006-07-21|2008-01-24|Matsushita Electric Industrial Co., Ltd.|Image capture device|
US20080027599A1|2006-07-28|2008-01-31|James Logan|Autonomous vehicle and systems and methods for the operation thereof|
US20080117288A1|2006-11-16|2008-05-22|Imove, Inc.|Distributed Video Sensor Panoramic Imaging System|
US8094182B2|2006-11-16|2012-01-10|Imove, Inc.|Distributed video sensor panoramic imaging system|
US7813843B2|2007-01-04|2010-10-12|Cisco Technology, Inc|Ad-hoc mobile IP network for intelligent transportation system|
US7990394B2|2007-05-25|2011-08-02|Google Inc.|Viewing and navigating within panoramic images, and applications thereof|
US20100133424A1|2007-05-26|2010-06-03|Norman Matheson Lindsay|Electro-optical sensors|
US8072448B2|2008-01-15|2011-12-06|Google Inc.|Three-dimensional annotations for street view data|
US20110178756A1|2008-02-05|2011-07-21|Utah State University Research Foundation|Integrated, Predictive, Radiance Sensor Apparatus and Method|
EP2253131B1|2008-02-08|2014-06-25|Google, Inc.|Panoramic camera with multiple image sensors using timed shutters|
JP4582198B2|2008-05-30|2010-11-17|ソニー株式会社|固体撮像装置、撮像装置、固体撮像装置の駆動方法|
EP2286385A4|2008-06-06|2013-01-16|Reald Inc|Blur enhancement of stereoscopic images|
JP5132497B2|2008-09-16|2013-01-30|キヤノン株式会社|撮像装置および撮像装置の制御方法|
WO2010052550A2|2008-11-05|2010-05-14|Easywalk Capital S.A.|System and method for creating and broadcasting interactive panoramic walk-through applications|
CN102334128B|2008-12-26|2015-03-25|数据逻辑扫描公司|用于成像的系统和方法|
JP2010204304A|2009-03-02|2010-09-16|Panasonic Corp|撮像装置、運転者監視装置および顔部測距方法|
EP2436182B1|2009-05-29|2019-07-24|Hewlett-Packard Development Company, L.P.|Multi-projector system, multi-projector method and program therefor|
JP4903888B2|2010-08-09|2012-03-28|株式会社ソニー・コンピュータエンタテインメント|画像表示装置、画像表示方法、および画像補正方法|
US8937643B1|2012-02-28|2015-01-20|Carlos Esteban|Offset rolling shutter camera model, and applications thereof|
US8941777B1|2012-10-31|2015-01-27|Google Inc.|System and method for capturing images of a geographic area|
EP3304195A1|2015-05-27|2018-04-11|Google LLC|Camera rig and stereoscopic image capture|
US10671082B2|2017-07-03|2020-06-02|Baidu Usa Llc|High resolution 3D point clouds generation based on CNN and CRF models|EP2253131B1|2008-02-08|2014-06-25|Google, Inc.|Panoramic camera with multiple image sensors using timed shutters|
US7974314B2|2009-01-16|2011-07-05|Microsoft Corporation|Synchronization of multiple data source to a common time base|
US8698875B2|2009-02-20|2014-04-15|Google Inc.|Estimation of panoramic camera orientation relative to a vehicle coordinate frame|
CN101852979A|2009-03-30|2010-10-06|鸿富锦精密工业(深圳)有限公司|全景相机|
US8862987B2|2009-03-31|2014-10-14|Intel Corporation|Capture and display of digital images based on related metadata|
US20100271533A1|2009-04-28|2010-10-28|Crispin Porter & Bogusky|Image Recordation Device with a Plurality of Lenses|
JP2011119785A|2009-11-30|2011-06-16|Fujitsu Ltd|カメラ制御装置及びカメラ制御方法|
CN101877775A|2010-04-06|2010-11-03|中兴通讯股份有限公司|远程呈现系统及其摄像机组|
WO2012089895A1|2010-12-31|2012-07-05|Multitouch Oy|Rolling shutter compensation in camera array|
US20120320204A1|2011-06-20|2012-12-20|3M Innovative Properties Company|Asset assessment system|
TWI526706B|2011-10-05|2016-03-21|原相科技股份有限公司|影像系統|
JP5860663B2|2011-10-18|2016-02-16|日立オートモティブシステムズ株式会社|Stereo imaging device|
US8937643B1|2012-02-28|2015-01-20|Carlos Esteban|Offset rolling shutter camera model, and applications thereof|
US20130278715A1|2012-03-16|2013-10-24|Mark Nutsch|System and method for discreetly collecting 3d immersive/panoramic imagery|
US9476970B1|2012-03-19|2016-10-25|Google Inc.|Camera based localization|
NL2008639C2|2012-04-13|2013-10-16|Cyclomedia Technology B V|Device, system and vehicle for recording panoramic images, and a device and method for panoramic projection thereof.|
US8941777B1|2012-10-31|2015-01-27|Google Inc.|System and method for capturing images of a geographic area|
FR2998126B1|2012-11-15|2014-12-26|Giroptic|Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques|
US10179543B2|2013-02-27|2019-01-15|Magna Electronics Inc.|Multi-camera dynamic top view vision system|
US9071732B2|2013-03-15|2015-06-30|Tolo, Inc.|Distortion correcting sensors for diagonal collection of oblique imagery|
KR102077498B1|2013-05-13|2020-02-17|한국전자통신연구원|상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법|
US9742991B2|2013-05-24|2017-08-22|Robert Frank Latorre|360 degree photobooth kiosk|
US9423588B2|2013-10-18|2016-08-23|The Lightco Inc.|Methods and apparatus for supporting zoom operations|
US8811812B1|2014-03-27|2014-08-19|Michael Shawn Lawler|Camera rig|
AU2015256320B2|2014-05-06|2020-03-05|Zakariya NIAZI|Imaging system, method, and applications|
JP6385212B2|2014-09-09|2018-09-05|キヤノン株式会社|画像処理装置及び方法、撮像装置、及び画像生成装置|
EP3034359B1|2014-12-15|2018-05-16|Ricoh Company, Ltd.|Monitoring system, and vehicle mountable with monitoring system|
EP3043202B1|2015-01-09|2019-07-24|Ricoh Company, Ltd.|Moving body system|
KR20170012759A|2015-07-23|2017-02-03|삼성전자주식회사|이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치|
DE102015214900A1|2015-08-05|2017-02-09|Robert Bosch Gmbh|Verfahren und Vorrichtung zum Generieren von Verzögerungssignalen für ein Mehrkamerasystem und zum Erzeugen fusionierter Bilddaten für ein Mehrkamerasystem für ein Fahrzeug sowie Mehrkamerasystem|
RU2592855C1|2015-08-25|2016-07-27|Вячеслав Михайлович Смелков|Устройство панорамного телевизионно-компьютерного мониторинга|
US10419770B2|2015-09-09|2019-09-17|Vantrix Corporation|Method and system for panoramic multimedia streaming|
US10694249B2|2015-09-09|2020-06-23|Vantrix Corporation|Method and system for selective content processing based on a panoramic camera and a virtual-reality headset|
US10506006B2|2015-09-09|2019-12-10|Vantrix Corporation|Method and system for flow-rate regulation in a content-controlled streaming network|
US10033928B1|2015-10-29|2018-07-24|Gopro, Inc.|Apparatus and methods for rolling shutter compensation for multi-camera systems|
US10044963B2|2016-03-30|2018-08-07|Panasonic Intellectual Property Management Co., Ltd.|Imaging apparatus|
US10110813B1|2016-04-27|2018-10-23|Ambarella, Inc.|Multi-sensor camera using rolling shutter sensors|
JP2018046430A|2016-09-15|2018-03-22|ソニー株式会社|情報処理装置および方法、並びにプログラム|
US10527925B2|2017-05-16|2020-01-07|Nico Toutenhoofd|Fully-spherical imaging system, camera support for same, and associated methods|
JP2019062479A|2017-09-27|2019-04-18|京セラ株式会社|撮像装置及び移動体|
WO2019079211A1|2017-10-19|2019-04-25|DeepMap Inc.|Lidar to camera calibration for generating high definition maps|
US10582181B2|2018-03-27|2020-03-03|Honeywell International Inc.|Panoramic vision system with parallax mitigation|
KR20200053125A|2018-11-08|2020-05-18|삼성전자주식회사|전자 장치 및 그 제어 방법|
法律状态:
2012-02-09| A621| Written request for application examination|Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120208 |
2012-09-05| A977| Report on retrieval|Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120905 |
2012-10-03| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121002 |
2012-12-28| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121227 |
2013-01-10| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130109 |
2013-01-11| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130110 |
2013-07-02| TRDD| Decision of grant or rejection written|
2013-07-08| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130705 |
2013-08-08| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130802 |
2013-08-09| R150| Certificate of patent or registration of utility model|Ref document number: 5337170 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
2016-08-02| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2017-08-01| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2018-02-09| S533| Written request for registration of change of name|Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
2018-02-20| R350| Written notification of registration of transfer|Free format text: JAPANESE INTERMEDIATE CODE: R350 |
2018-07-31| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2019-07-30| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2020-07-29| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
2021-07-30| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
优先权:
申请号 | 申请日 | 专利标题
[返回顶部]